Pandora's AI Model Routing Box: Efficient Allocation with Costly Value Estimation
潘多拉 AI 模型路由盒：带成本的价值估计与高效分配
🧭 成本感知的模型路由与拍卖机制 ★ 深度解读
Google DeepMind
将模型路由中昂贵价值估计的取舍建模为 Pandora's Box，以 reservation price 动态决定查询时机，在中心化与去中心化场景均接近最优。
📌 工作参考价值（4 点）
- 在推荐/搜索的多模型链路（精排、重排、LLM reranker）或 RAG 中，用 cheap estimator（如 embedding KNN 或轻量模型）先得到期望收益和不确定性，再以 reservation price 为阈值决定是否调用昂贵路径（完整生成、检索、大模型打分）；不要固定预算或全量调用，能显著降低推理成本。
- 当存在多个模型供应商或内部专家服务，且各自有私有评估能力时，可采用 posted-price 拍卖 + VoI 公式，让专家自行判断是否值得花钱做更准的自评估再报价；平台只需发布当前最佳价，无需了解专家内部信息，降低中心化路由的维护成本。
- 工程实现上 Gaussian signal model 的闭式解很容易落地：用 calibration 集拟合 cheap score 到 expensive score 的回归得到 μ 和 σ²，再用 root-finding 求 reservation price；若候选之间分数相关，可用多元高斯后验 + mean-field 更新阈值，进一步提升查询效率。
- 如果预算极其有限且候选数少（如仅小模型 vs 大模型），Margin 启发式（根据 top-2 cheap score 差距决定是否查昂贵估计）已接近最优，可作为快速落地起点；但在几十上百个候选时，reservation-price 策略能更精细地分配查询预算。